分布式系统和微服务是两个相关但不同的概念，它们都是在构建复杂的软件应用时使用的架构思想。分布式系统：分布式系统是指由多个独立的计算机或服务器通过网络连接共同工作，协同完成一个任务或提供一个服务。在分布式系统中，各个计算机节点可以分担任务的负荷，共同完成复杂的工作。分布式系统的目标是提高系统的可靠性、扩展性和性能。典型的分布式系统包括数据库集群、分布式文件系统、分布式计算等。微服务：微服务是一种软件架构风格，它将一个应用程序划分为多个小型、独立的服务，每个服务都专注于完成特定的业务功能。这些服务可以独立部署、扩展和维护，并且可以使用不同的编程语言和技术栈。微服务架构强调服务的解耦和独立性，以及通
1、什么是hadoop？ Hadoop是一个开源的分布式数据处理框架，旨在处理大规模数据集并能够在普通硬件集群上实现高性能和可靠性。主要有以下三个组件：Hadoop分布式文件系统（HDFS）：这是一种可扩展的、容错的文件系统，专门设计用于在大规模集群中存储和访问数据。HadoopYARN：YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理器。它负责集群资源的管理和作业的调度，允许多个应用程序共享集群资源。MapReduce：这是Hadoop的计算模型和编程框架。它通过将输入数据切割成小块，并在分布式节点上执行并行计算任务来处理大规模数据集。2、hado
目录前言回顾二进制二进制概念运算法则位（Bit）字节（Byte）字符字符集二进制原码、反码、补码有符号数和无符号数疑问：为什么不是-127～127？为什么需要分布式全局唯一ID以及分布式ID得业务需求？ID生成规则部分硬性要求ID生成系统的可用性要求通用解决方案1.UUID优点缺点2.数据库自增主键优点缺点3.基于Redis生成全局ID策略单机版集群分布式缺点SnowFlake雪花算法雪花算法结构雪花算法的优缺点优点缺点雪花算法的具体实现SpringtBoot整合雪花算法(基于hutool工具类)第三方基于SnowFlake算法生成的唯一ID雪花算法相关问题以及解决方案1.时间回拨问题2.工作
一、ElasticSearch介绍ES是一款非常强大的开源搜索引擎，可以帮我们从海量的数据中快速找到我们需要的内容。ElasticSearch结合kibana、Logstash、Beats，也就是elasticstack(ELK)，被广泛运用在日志数据分析，实时监控等领域。ES负责数据存储、计算、搜索数据。LogStash和Beats负责数据抓取。Kibana是数据可视化组件。Lucence是ES的底层开发，java语言搜索引擎类库，是Apache公司顶级项目。Lucence优势：易扩展。高性能。（基于倒排索引）缺点：只限于java语言开发。学习难度高，曲线陡峭。不支持水平扩展。于是在luce
作者：禅与计算机程序设计艺术1.简介在SpringCloud的世界里，分布式系统经历了开发、测试、运维三个阶段。而在开发阶段，通常采用集中式配置方式，将所有配置文件统一管理在一台服务器上。随着业务系统的不断扩张，各个微服务模块都需要配置自己的属性值。因此，需要一个分布式配置中心来解决这一问题。SpringCloud提供了基于NetflixEureka和SpringCloudConfig的分布式配置中心解决方案，本文主要以Eureka为例进行分析。SpringCloud是一系列框架的集合，它利用SpringBoot技术栈来简化分布式系统的开发。其中，分布式配置中心就是SpringCloud提供的
一、基于pytorch开源的pytorch分布式训练ddp，4台机器，每台8个卡。每台机器中配置了一个docker，具体方法参考：https://blog.csdn.net/weixin_41012399/article/details/128645840?spm=1001.2014.3001.5502方法一：每个主机的docker容器配置一个独有ip，不同主机之间的容器相互连通。docker默认的内网网段为172.17.0.0/16，不同主机的容器ip有可能冲突，所以要先改ip。参考方法：https://blog.csdn.net/lihongbao80/article/details/12
Redis一、Redis简介1.1.适用场景1.2.常用数据类型1.3.单点Redis缺陷二、持久化机制（解决数据丢失）2.1.RDB2.1.1.RDB优缺点2.2.AOF2.2.1.AOF配置2.2.2.AOF优缺点三、Redis集群3.1.主从（解决并发读）3.1.1.主从数据同步原理3.1.1.选举机制3.2.哨兵（解决单点故障）3.2.1.监控原理3.2.2.故障恢复原理3.3.分片集群（解决高并发读与高可用）3.3.1.分片策略3.3.2.插槽原理3.3.3.故障转移3.3.4.动态扩展四、分布式锁4.1.Redis分布式锁4.1.1.SETNX命令锁4.1.2.Lua脚本锁4.1.
尚硅谷Docker实战教程（docker教程天花板）_哔哩哔哩_bilibili目录1.cluster(集群)模式-docker版哈希槽分区进行亿级数据存储 1.1面试题1.1.1 方案1哈希取余分区1.1.2方案2一致性哈希算法分区 原理优点一致性哈希算法的容错性 一致性哈希算法的扩展性 缺点 一致性哈希算法的数据倾斜问题总结1.1.3方案3哈希槽分区3多少个hash槽哈希槽计算2.3主3从redis集群扩缩容配置案例架构说明关闭防火墙+启动docker后台服务3.主从容错切换迁移案例3.1大纲：3.2数据读写存储4.主从扩容案例编辑 4.1新建6387、6388两个节点+新建后启动+查看
前言集群环境下的并发问题 分布式锁定义需要满足的条件常见的分布式锁redis实现分布式锁核心思路代码实现误删情况逻辑说明解决方案代码实现更为极端的误删情况Lua脚本解决原子性问题分布式锁-redissionredisson的概念快速入门总结前言在前面我们已经实现了单机模式下的一人一单，但如果开启集群模式，单机模式的方案显然不适用，首先就是锁方案，在集群模式下，如果使用synchronized来作为锁，那每个单机都有属于自己的锁，这就导致锁失效，这时候就要采用分布式锁，本文使用redis的setnx操作来手动实现分布式锁，最后使用redisson做分布式锁，同时也对分布式锁常见问题给出了解决方案
